я 


_ Долгоиграю ие — 
‚ приложения |: РНР. 


И 


\ Александр Пряхин 
\| то 


НР Выеза 


‚ 29022 


Александр 
Пряхин 


Теспп!са| Чп® Геаа 


14+ летв Т 


8+ лет руковожу командами 
Преподаю и менторю 


» аургуакпт@ауко.ги 


амКохесп 


АСЕМОА 


Работа скрипта Бу 
аезап 


Типовые задачи за 
пределами 


Большие обработки 
Демоны 


Выводы 


Рождён, чтобы умирать 


| А Г 
® © Фо _ м 
ауКодеспв Г * ых № 
``. @ 


ГОМС ИМЕ АСО1М А САГАХУ ЕАВ 
А\МА\У... 


РНР плохо обрабатывает большие данные 
РНР имеет утечки памяти 

РНР не умеет в многопоточность 

И вообще, есть же Со! 


а\Кохесп 


РНР ВУ РЕЗ!СМ 


и 
м" 


ауКодесп 


РНР ВУ РЕЗ!СМ 


и 


в 
им 


Инициация пользователем 
Ничего не помним 
Работа несколько секунд 


ауКодесп 


ПОТРЕБНОСТИ 


КЛАСТЕРЫ ПРОБЛЕМ 


Всё это работает дольше нескольких секунд 


ауКодесп 


Есть же другие языки! 


амКохесй 


РОСТСТЕКА 


ауКодесп 


РОСТСТЕКА 


ауКодесп 


РОСТСТЕКА 


ауКодесп 


РОСТСТЕКА 


ауКодесп 


РОСТСТЕКА 


А так ли плох РНР? 


а\Коесй 


Большие обработки 


| 

® © Фо _ 
ауКодеспв Ч * 
``. @ 


ЧТО ХОТИМ СДЕЛАТЬ? 


амКохесй 


ЧТО ХОТИМ СДЕЛАТЬ? 


амКохесй 


ЧТО ХОТИМ СДЕЛАТЬ? 


амКохесй 


ЧТО ХОТИМ СДЕЛАТЬ? 


амКохесй 


СЧЕМ МОЖЕМ СТОЛКНУТЬСЯ 


Построить 


Формируем 
отчет в представление 


амКохесй 


СЧЕМ МОЖЕМ СТОЛКНУТЬСЯ 


Набираем 
сырые 
данные 


Построить 
отчет 


Формируем 
представление 


амКохесй 


РАСХОД ПАМЯТИ 


Правило: потоковая обработка П читаем только то, что хотим обработать здесь и сейчас 
Примеры: 


Получение данных порциями из большого файла 


Типовая ошибка: «Я хочу получить всё» 
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РАСХОД ПАМЯТИ 


Правило: потоковая обработка - читаем только то, что хотим обработать здесь и сейчас 


Примеры: 


Чтение большого файла/потока с данными 


Фипс*1оп геааТпер11е($+г1пе ФраЕН): \бепегафог { 
$Папа1е = Фореп($раЕ!, "г"); 


мпт Те ( ! ео+ ($Вапа1е)) { 
у1е1а +г1т(+5е%$ ($Папа1е)); 


} 


{+с1о5е($Папа1е); 
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РАСХОД ПАМЯТИ 


ФипсЕтоп геадТИег11е($+г1па фраЕВ): \бепегафог { 
$Лапа1е = Фореп($раЕй, "г"); 


мр11е( !Еео+ ($Папа1е)) { 
у1е1а +г1т(1ве*$ ($Напа1е)); 


} 


{+с1о5е($Папа1е); 
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РАСХОД ПАМЯТИ 


$репегафог = (Фраеп); 
$гези1{ = ; 


($оепега*ог $1%ет) { 


$ге5и14 .= $14ем; 
} 
0.5МВ 


амКохесй 


8 МВ 


16 МВ 


32 МВ 
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РАСХОД ПАМЯТИ 


$гепегафог = геааТВер11е ($раП); 


$ 


геи] = пи11; 


фогеасй ($вепегафог аз $1%ет) { 


| 


$ 
$ 


$гези1{ .= $1%еп; 


5епегафог = геааТИе11е ($ра* п); 
грезит Е = п911; 


фогеаси ($вепегафог аз $1%ет) { 


} 


ргосе$$Т4ет($1ет); 


8 МВ 
0.5МВ 


05мМВ ОъМВ 


16 МВ 


0.5МВ 


32 МВ 


0.5МВ 
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НО ЭТО ДОЛГО! 


амКохесй 


ДАВАЙТЕ РАСПАРАЛЛЕЛИМ! 


амКохесй 


ДАВАЙТЕ РАСПАРАЛЛЕЛИМ! 


ауКодесп 


ДАВАЙТЕ РАСПАРАЛЛЕЛИМ! 


=== 


амКохесй 


ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ В РНР 


5\м/оо[е 


амКохесп 


ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ В РНР 


5\м/оо[е 


Асинхронное выполнение 
Переключение контекстов 
Кэш между воркерами 
Много чего еще 


амКохесп 


амКохесп 


Ещё один доклад про КоааВиппег, АтРНР и 5моое =) 


См. перевод 


Нравится . @®1| Ответить . Тответ 


<  Аехапаег РгуаКЫт 


$ 
5 Тесп Упй 1еаа @ Ауйо 


Ну не совсем) Я больше хочу зайти в организацию 
самого процесса, какие проблемы там можно встретить. 
Фреймворк - это уже надстройка, решающая (или нет) 
эти проблемы. А вот в суть хотелось бы погрузиться 


Нравится . @®1 | Ответить 
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ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ В РНР 


Рага|е! 


амКохесп 


ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ В РНР 


Рага!е! 
Замена р\Пгеаа$ 
7Т$ 


ЗЕ 


Потоки, а не корутины 


амКохесп 


СИНХРОННОЕ ВЫПОЛНЕНИЕ КОДА 


Хотим получить ЕЛЕ АЕ 


данные от Системный поток 
внешнеи системы 


Главный вызов 


Один поток выполнения 
Стек вызова функций 
Вызывающая функция ждёт полного завершения вызванной 


амКохесп 
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КОРУТИНЫ 


Отправка Ответ 
запроса получен 


Запуск корутины Можем вернуть 


исполнение 


Не требуются переключения на системном уровне 
Не требуют поддержки со стороны ОС 
Асинхронны (события происходят независимо от главного потока) 


амКохесп 


Системный поток 
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ПОТОКИ 


Главный поток (процесс) 


Потоки независимы 
Создание потока — более дорогая операция 
Выполнение параллельно 


амКохесй 
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СОВОЧТИМЕ \$5 ТНВРЕАОЗ$ 


Согои пе ТРгеаа$ 


Суть Не блокирует основной Создают выделенные потоки 
поток, но работают внутри 
Параллельная работа 


Асинхронная работа 


Специализация Снижение нагрузки на Ускорение сложных вычислений 
систему 


амКохесп 


40 


КАК ЭТО РАБОТАЕТ: ЗАПУСК ПОТОКА 


фгипЕ1те = пем \рага\1е1\Кипе1те(); 
фгипЕ1те->гип( $фа$К); 


Основной поток 


Новый поток (Фгипите) 
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КАК ЭТО РАБОТАЕТ: ЗАМЫКАНИЯ 


/*ж а\маг СТозиге */ 
$фазК = ФРипс%1оп() { /х Что-то делаем 


*/ } 


Основной поток 


фгипЕ1те = пем \рага\1е1\Кип+1те(); Новый поток ($гипйте) 
фФгипЕ1те->гип( р: 


амКохесп 22 


КАК ЭТО РАБОТАЕТ: РОТОВРЕ 


/** @маг СТозиге */ р т 
Шиге 
фказК = Рипс10оп() { /* Что-то делаем Основной поток 


фгипЕ1те = пем \рага\1е1\Кип+1те(); Новый поток (фпипйте) 
ффифиге = $гип1те->гип($%а$К); 


амКохесп 
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КАК ЭТО РАБОТАЕТ: РОТОРЕ 


и Основной поток  Ф\\ге 


/* Что-то делаем */ 


тетигп $соипфег; . 
. Новый поток (Фгипйте) 


фгипЕ1те = пем \рага\1е1\Кипе1те(); 
фкибиге = $гипЕ1те->гип($тазК); 
еспо $Рифхиге->уа\ие(); 


амКохесп 
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КАК ЭТО РАБОТАЕТ: 


/**ж а\маг СТозиге */ 
$тазК = ФРипс%1оп() { /х Что-то делаем 


*/ } 


$фгип&1те1 
фгип1те2 


пем \рага11е1\ВипЕ1те(); 
пем \рага11е1\ВипЕ1те(); 


амКохесп 


ШАРИНГ 


Основной поток 


Новый поток 1 (Фгипйте 1) 


Новый поток 2 ($гипйте 2) 
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КАК ЭТО РАБОТАЕТ: ШАРИНГ 


/** а\маг СТозиге «/ 
фтазкК = Фипс%10п() { /* Что-то делаем 


*/ } 


Основной поток 


$гипЕ1те1 = пем \рага\1е1\Випе1те 
фгип&1те? = пем \рага\Те1\Випе1те 


7 


7 


Новый поток 1 (Фгипйте 1) 


Новый поток 2 ($гипйте 2) 
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КАК ЭТО РАБОТАЕТ: 


фспаппе\ = пем \рага\1е1\Спаппе!(); 
/** маг СТозиге */ 

фФеазК = Рипс%1оп(СПаппе!т $сПп) { /* 
Что-то делаем */ } 


фгип1те1 = 
фгип1те2 = 


пем \рага\1е1\Випе1мте(); 
пем \рага\1е1\Випе1мте(); 


фгип{ 1те1 ->гип($%а$К); 
фгип& 1те2 ->гип($+%а$К); 


амКохесй 


ШАРИНГ 


Основной поток 


Новый поток 1 (Фгипйте 1) 


Новый поток 2 ($гипйте 2) 
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КАК ЭТО РАБОТАЕТ: 


/**х а\маг СТозиге */ 
ФЕаск = Кипс стоп (СВаппее Фе) | 
/*х Что-то делаем */ 


фуа1ие = $сй->гес\у(); // 
получаем данные 
$сп->5еп4(++$уа1ие); // 


отправляем данные 


} 


амКохесп 


ШАРИНГ 


Основной поток 


Новый поток 1 (Фгипйте 1) 


Новый поток 2 ($гипйте 2) 
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ЧТО ЕЩЕ УМЕЕТ РАРАССЕЁ 


Поддерживается передача замыканий в каналы 
Можно писать свои мьютексы (класс Зупс) 
Можно работать с еуег{ |оор (класс Еуеп) 


амКохесп 
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КАК ЭТО РАБОТАЕТ 


Бенчмарк с 
примерами и 
комментариями 


а\Кохесп 


СПЕЦИФИКА РАВАССЕЁ 


небольшой опыт сообщества потеть 


— | 
| Е Очень скудная документация и МЕНЕ > Сборка в РоскКег заставит 


СЕ Дебаг потоков специфичен и Эт Не снизит расход ресурсов 
Е требует адаптации 
Е 


амКохесп 
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ШАРИНГ РЕСУРСОВ 


ауКодесп 


Шаринг ресурсов 
возможен только 
между потоками. 


Между 
процессами 
обмен только 
через внешние 
системы. 


ШАРИНГ РЕСУРСОВ 


> 


о 
ииь 


амКохесй 


ШАРИНГ РЕСУРСОВ 


> 


Состояние гонки 


о 
ииь 
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ШАРИНГ РЕСУРСОВ 


амКохесй 


Состояние гонки 


Прочитал кол-во 
товара А =х 


Обновил кол-во 
товара А = х-1 


Е ЕОс ях г ааа а Сь ПЕОКгОьоЕ я  ааа воСОЕ ЕОоЕКеЫ 


Прочитал кол-во 
товара А =х 


Обновил кол-во 
товара А = х-1 
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ШАРИНГ РЕСУРСОВ 
Состояние гонки 
= < 


С Вводим транзакции 


амКохесй 


ШАРИНГ РЕСУРСОВ 


Состояние гонки 


< 


С Вводим транзакции 


Снижаем скорость работы 
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ШАРИНГ РЕСУРСОВ 


амКохесй 


Оеа|1оск 


Старт транзакции 


Е - 


Старт транзакции 


Обновляю кол-во Обновляю кол-во 

товаров в {аЫе_1 заказов в {аЫе 2 

Обновляю кол-во Обновляю кол-во 

заказов в {а е_2 товаров в {аЫе 1 
Ждем друг друга 
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ШАРИНГ РЕСУРСОВ 


Реа|1оск 
Атомарность транзакций 


о 
р 


амКохесй 


ШАРИНГ РЕСУРСОВ 


5е5$1оп 1: 
ОРОБАТЕ ассоипе$ $ЕТ Ба1апсе 
100.00 ИНЕВЕ асс®пит = 1; 


$е5$1оп 2: 
ОРОВАТЕ ассоупе$ $ЕТ Ба1апсе 
100.00 ИНЕВЕ асс®пит = 2; 


ОРБАТЕ ассоуп*$ $ЕТ Ба1апсе 
100.00 ИНЕВЕ асс пит = 1; 


5е5$1оп 1: 


ОРОВАТЕ ассоип$ $ЕТ Ба]апсе 
100.00 ИНЕВЕ асс®пит = 2; 


амКохесй 


Ба1апсе 


Ба1апсе 


Ба1апсе 


Ба1апсе 


Оеаа[оск 


Атомарность транзакций 
Соблюдайте порядок обновления 
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ШАРИНГ РЕСУРСОВ 


5е5$1оп 1: 
ОРОБАТЕ ассоипе$ $ЕТ Ба1апсе 
100.00 ИНЕВЕ асс®пит = 1; 


5е5$1от 2: 
ОРБВАТЕ ассоип$ $ЕТ Ба1апсе 
100.00 ИНЕВЕ асс®пит = 1; 


ОРБАТЕ ассоуп*$ $ЕТ Ба1апсе 
100.00 ИНЕВЕ асс®пит = 2; 


5е5$1оп 1: 


ОРОВАТЕ ассоип$ $ЕТ Ба]апсе 
100.00 ИНЕВЕ асс®пит = 2; 


амКохесй 


Ба1апсе 


Ба1апсе 


Ба] апсе 


Ба1апсе 


Оеаа[оск 


Атомарность транзакций 
Соблюдайте порядок обновления 
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ШАРИНГ РЕСУРСОВ 

Пе ь Реаа!оск 
Атомарность транзакций 
Соблюдайте порядок обновления 


[= Блокирующие запросы - в конец 
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ДЕМОНЫ 


амКохесй 


Ах 


о @ 
.®. 
26° 


ВЕРНЕМСЯ К 
ЗАДАЧЕ ПРО ОТЧЕТ 


амКохесй 


ВЕРНЕМСЯ К 
ЗАДАЧЕ ПРО ОТЧЕТ 


Что, если сырые данные приходят к нам по инициативе 
поставщика? 


амКохесй 


ВЕРНЕМСЯ К 
ЗАДАЧЕ ПРО ОТЧЕТ 


Что, если сырые данные приходят к нам по инициативе 
поставщика? 


Мы формируем сгоп, ждем обращения... 
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ВЕРНЕМСЯ К 
ЗАДАЧЕ ПРО ОТЧЕТ 


Что, если сырые данные приходят к нам по инициативе 
поставщика? 


Мы формируем сгоп, ждем обращения... 


Но мы ограничены! 
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МЫ ХОТИМ СЛУШАТЬ СОБЫТИЯ! 


ауКодесп 


МЫ ХОТИМ СЛУШАТЬ СОБЫТИЯ! 


амКохесп 


Непрерывная работа 

Перманентное соединение с источником 
Еуеп(Опм\уепт-логика 

Возможность ответить на событие по 
результату 


[5 


НЕПРЕРЫВНАЯ РАБОТА РНР 


амКохесй 


НЕПРЕРЫВНАЯ РАБОТА РНР 


Процесс никак не отслеживается 
Нет контроля Остановка только через Пак 
Процесс Шредингера 


амКохесй т 


РСМТЕ 


Цикл внутри никуда не денется 
Демон внутри себя знает свой РО 


Можно реагировать на сигналы 


Дружба с РОЗХ 
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НО 
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З+аг{1пд Хазк: 
З+аг{1п9 фазк: 
З+аг{1пд тазК: 
З+аг{1п9 фазКк: 


а1ехапдегргуаКВ1п 63698 
а1ехап4егргуаКА1т 63694 
а]1ехап4егргуаКА1т 63693 
а1ехапаегргуаКИ1пт 63692 
а1ехапдегргуаКВ1п 63691 
а1ехапдегргуаКВ1п 63690 


№ МОМХ мин ЕСС! — рНр + рИр{е$1.рНр — 131х55 
а1ехапдегргуаКА1п@МВР-А1ехапдег МСТМХ м14Н ЕССТ % рр фез*.рЮр 


Тефсп_гетохе_дата 
роз+_азупс_ирда*ез 
с1еаг_саспез 
по+1Ту_адт1п 


0.0 0.0 408628368 
0.0 0.0 408715312 
0.0 0.0 408715312 
0.0 0.0 408724528 
0.0 0.0 408715312 
0.0 0.1 408715568 


а1ехапаегргуаКА1п@МВР-А1ехапаег - % || 


М аехапаегргуаКИт — -7$В — 134х24 
[а1ехап4егргуаКВ1п@МВР-А1ехапаег - % р$ аих | дтер р|р 


1632 
2032 
1904 
1920 
1920 
18032 


5002 
5001 
5001 
5001 
5001 
5001 


$+ 
$+ 
$+ 
$+ 
$+ 
$+ 


:49 АМ 
:40 АМ 
:49 АМ 
:40АМ 
:40 АМ 
:49 АМ 


$зФхфхоео > 


9тер рир 


рир е$+. 
рир Тез+. 
рпр Тез+. 
рпр Тез+. 
рир Тез+. 


рир 
рИр 
рир 
рир 
рИр 
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ЧТО МОЖНО СЛУШАТЬ ДЕМОНОМ? 


Постоянный опрос очереди на появление новых событий 


амКохесй 


ЧТО МОЖНО СЛУШАТЬ ДЕМОНОМ? 


Постоянный опрос очереди на появление новых событий 
Прослушивание Утмх- или ТСР-сокета 


амКохесй 


КАК СЛУШАТЬ? 


Модуль Еуеп* 


Можно написать все, вплоть до собственного 
НТТГР-клиента 


Модуль 5осКкЕ 


Работает с ТСР- и Чпх-сокетами 


амКохесп 
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ОСОБЕННОСТИ ПОСТОЯННОЙ 
РАБОТЫ 


7Гма!-контейнер живёт в памяти, пока на него есть ссылки 


а\Кохесп 


ОСОБЕННОСТИ ПОСТОЯННОЙ 
РАБОТЫ 


Гма!-контейнер живёт в памяти, пока на него есть ссылки 


рг1\афе аггау $еуеп{Бафа = []; 


ми е(..) | 
$еуепЕБафа[] = $%11$-> 
} 
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Особенности постоянной работы 


7ма!-контейнер живёт в памяти, пока на него есть ссылки 


рг1\афе аггау $еуепБафа = []; 


мп11е(...) { 
$еуепЕБафа[] = $%11$-> 
} 


Накопление данных со временем работы будет давать утечку 
памяти. 
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РАБОТА С ПАМЯТЬЮ 


Старый добрый чп5еЕ\ 


Итераторы и генераторы 


амКохесй 
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ОСОБЕННОСТИ ПОСТОЯННОЙ 
РАБОТЫ 


РНР держит открытым одно соединение к базе на пользователя в 
процессе. 


амКохесп 


ОСОБЕННОСТИ ПОСТОЯННОЙ 
РАБОТЫ 


РНР держит открытым одно соединение к базе на пользователя в 
процессе. 


Демон будет работать часами, днями и даже больше. 


Соединение может зал ипнуть. 
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ЗАЛИПАНИЕ СОЕДИНЕНИЙ 


Соединение с ресурсом может залипнуть. 


Рег1<{еп{ соппес( не поможет 


В РНР соединение будет висеть, пока не 
остановится процесс 


амКохесп 
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ЗАЛИПАНИЕ СОЕДИНЕНИЙ 


Соединение с ресурсом может залипнуть. 


Рег1<{еп{ соппесЕ не поможет 


амКохесп 


Как-то надо мониторить Возможность 
соединения 


Процесс один и работает долго. Не 
получится быстро отследить отвал. 
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ЗАЛИПАНИЕ СОЕДИНЕНИЙ 


ауКодесп 


ЗАЛИПАНИЕ СОЕДИНЕНИЙ 


Соединение с ресурсом может залипнуть. 


амКохесй 


ЗАЛИПАНИЕ СОЕДИНЕНИЙ 


Соединение с ресурсом может залипнуть. 


амКохесй 


орбеап$-рйр Епуноптет — А 


Тгапзас\юп$  Етог$  Мешс$  Зегмсе Мар 


Туре: гедиез\ 


Гайепсу Мешс Ауегаде 


Тигочайри Тгапзас{опт$ 
Мате Гацепсу (а\9.) Твгоцапри" Еггог га{е прас" и 


1.6 {рп 


амКохесй 


СОСТОЯНИЕ ДЕМОНА 


Демон может зависнуть, упасть, взерватьея из-за критических 
изменений окружения. 


амКохесп 
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СОСТОЯНИЕ ДЕМОНА 


Демон может зависнуть, упасть, взерватьея из-за критических 
изменений окружения. 


Нужно отслеживать состояние демона и уметь его 
переподнимать. 


амКохесп 
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КОНТРОЛЛЕР ДЕМОНОВ 


амКохесп 


Мы создаем РОЗ Х-совместимого 
демона. А значит, знаем его 12 в любой 


момент времени. 


Можно хранить соответствие 1 и типа 
демонов, чтобы контролировать их 


работу. 
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КОНТРОЛЛЕР ДЕМОНОВ 


амКохесп 


Мы создаем РОЗ Х-совместимого 
демона. А значит, знаем его 12 в любой 
момент времени. 


Можно хранить соответствие 1 и типа 
демонов, чтобы контролировать их 


работу. 


Каждому демону пригодится 
Беа“ПсрескК-ручка, чтобы проверять 
жизнеспособность. 
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КОНТРОЛЛЕР ДЕМОНОВ 


амКохесп 


Мы создаем РОЗ Х-совместимого 
демона. А значит, знаем его 12 в любой 
момент времени. 


Можно хранить соответствие 1 и типа 
демонов, чтобы контролировать их 


работу. 


Каждому демону пригодится 
Беа“ПсрескК-ручка, чтобы проверять 
жизнеспособность. 
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КЭШИРОВАНИЕ ОМ№$ 


ОМ$ кэшируется на момент запуска. 


Обращение по ЧРВЕ в случае 
изменения фактического |Р 
перестанет работать. 
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ДЕПЛОЙ 


а\Коесп 


ДЕПЛОЙ 


амКохесй 


Собираем, тестируем, упаковываем 


Старая версия демона должна 
завершить текущую обработку и не 
допустить повторной обработки. 


Демон терпит переключения 


Запускаем новую версию 
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ИТОГО 


ауКодесп 


Необязательно расширять стек, если нужно 
организовать большую обработку или ускорить 
что-то 


Разрабатывая демоны, следует думать на более далеком 
горизонте работы, чем несколько секунд. 


Не стоит забывать о мониторинге, кэшировании и 
расшаривании ресурсов 
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Обратная СВЯЗЬ 
(и комментарии по докладу 
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МАТЕРИАЛЫ 


РНР создан, Азупс, Бенчмарк РНР РНР Зоскм$ РСМТЕ 
чтобы 5мосе, Рага!е! Еуетепег ехатр!е 
умирать Рагайе! 


КОНТАКТЫ 


Никедт е\уепегду.ги ау.риакит@дтай.сот 


